Fordommer i KI-systemer som ikke ser forskjell på rett og galt

Ved utviklingen av KI-systemer knyttet til behandling og diagnostikk, kan det oppstå skjevheter i befolkningens helsetilbud, og ulikheter når det kommer til hvem som får motta forsvarlig helsehjelp^{(1)Anne Kjersti Befring mfl., Kunstig intelligens og big data i helsesektoren – rettslige perspektiver, 1. utgave, Gyldendal 2020, s. 102.} . Grunnen til dette er at eksisterende bevisste og ubevisste fordommer kan forsterkes ved bruk og utvikling av digitale systemer som ikke ser forskjell på rett og galt (algoritmisk forskjellsbehandling). Forsvarlighetskravet, herunder kravet til likebehandling av pasienter, vil imidlertid kunne utgjøre en skranke for en slik utvikling.

Spørsmålet i det følgende blir hvordan likhets­normer kan brukes som en rettslig skranke for utviklingen av KI i helse­hjelp.

Forsvarlig utvikling av kunstig intelligens

Retten til liv og beskyttelse mot skader følger av Grunnloven § 93 og EMK artikkel 2. Disse prinsippene danner en ytre ramme som skal verne mennesker mot unødvendig smerte og lidelse. I forlengelse av denne rammen finner man forsvarlighetskravet, herunder kravet til likebehandling av pasienter. Denne sier noe om hva som til enhver tid kan forventes ved behandlingen av både mennesket og helseopplysningene deres^{(2)Anne Kjersti Befring, Helseretten, 1. utg, Cappelen Damm akademisk 2022, s. 140.} .

Kravet om likebehandling av pasienter kommer videre til syne i en rekke lovbestemmelser. Det følger av pbrl. § 1-1 at formålet med loven er å bidra til å sikre befolkningen «lik tilgang på tjenester av god kvalitet». I spesialisthelsetjenesteloven (heretter «sphl.») følger det av § 1-1 at et av lovens formål er å bidra til et «likeverdig» tjenestetilbud. Videre er retten til helse regulert i blant annet FNs konvensjon om rettighetene til mennesker med nedsatt funksjonsevne (CRPD) artikkel 25, og innebærer en plikt til likebehandling. Forbudet mot diskriminering følger av Grunnloven § 98 og EMK artikkel 14.

Hva gjelder det nærmere innholdet i forsvarlighetskravet, følger det av helsepersonelloven (heretter «hpl.») § 4 at alt «helsepersonell» plikter å yte forsvarlig «helsehjelp». Med helsepersonell menes leger og andre som yter helsehjelp, jf. hpl. § 3 første ledd. Begrepet «helsehjelp» sikter til «handlinger som har forebyggende, diagnostisk, behandlende, helsebevarende, rehabiliterende eller pleie- og omsorgsformål, og som er utført av helsepersonell». Etter sin ordlyd setter bestemmelsen noen viktige avgrensninger for hva som skal regnes som «helsehjelp». Det er snakk om to hovedvilkår, henholdsvis knyttet til innhold og personell. Det er klart at mange KI-systemer, slik de brukes innen helse i dag, faller inn under denne definisjonen.

Videre fremkommer det av hpl. § 4 at hva som er forsvarlig vil avhenge av hva som kan «forventes» etter en vurdering av «helsepersonellets kvalifikasjoner, arbeidets karakter og situasjonen for øvrig». Etter sin ordlyd tar bestemmelsen sikte på en skjønnsmessig vurdering.

Det er en rekke momenter og samfunnsforhold som vil kunne bidra til å skape en forventning til hvordan helsepersonell skal opptre^{(3)Hauglid, Mathias, «Karnov lovkommentar til helsepersonelloven.», Lovdata Pro, 2023, § 4 note 1. (lest 31.08.2023).} . Utviklingen innen medisinsk kunnskap, og fremveksten av nye digitale hjelpemidler, vil kunne føre til at det som var forsvarlig før er uforsvarlig i dag.

Det dynamiske innholdet i forsvarlighetskravet utdypes nærmere i Ot.prp. nr. 13 (1998–99) på side 216. Der fremheves det at begrepet «forsvarlighet» viser til en rettslig standard, hvor det er inntatt en distinksjon mellom helsepersonellets kvalifikasjoner og forholdene ellers. Med begrepet «kvalifikasjoner» siktes det til at ulike krav kan stilles ut ifra helsepersonellets faglige kompetanse. Dette innebærer at helsepersonell plikter å holde seg faglig oppdatert, og innrette seg etter krav til utstyr og legemidler basert på forskning. I sammenheng med fremveksten av kunstig intelligens, innebærer kravet til forsvarlighet dermed at helsepersonell plikter å holde seg oppdatert på utviklingen, og sette seg inn i bruken av kunstig intelligens. Forsvarlighetskravet innebærer at KI-systemer skal brukes på sin tiltenkte måte, på lik linje med at medisiner skal benyttes til det de er godkjent til.

Forvarlighetsplikten gjelder alle ledd i helsehjelpen^{(4)Anne Kjersti Befring mfl., Kunstig intelligens og big data i helsesektoren – rettslige perspektiver, 1. utgave, Gyldendal 2020, s. 405.}. Herunder alle hjelpemidler som tas i bruk i helsehjelp. Dette er relevant i forhold til KI-systemer innen helse, ettersom også en slik type teknologi på denne måten vil underlegges forsvarlighetskravet.

Datamønstre med fordommer

Overordnede rettslige prinsipper om forsvarlighet, herunder likebehandling av pasienter, har betydning for alle andre regelverk, herunder også for bruken av personopplysninger etter GDPR. For å kunne utvikle kunstig intelligens, samt å benytte maskinlæring, kreves det omfattende informasjon fra individer. Når slik informasjon hentes inn i stort omfang, øker risikoen for at det skjer en kategorisering av mennesker etter ulike egenskaper^{(5)Anne Kjersti Befring mfl., Kunstig intelligens og big data i helsesektoren – rettslige perspektiver, 1. utgave, Gyldendal 2020, s. 103.} . Grunnen til dette er at KI-systemer brukes på en slik måte at de finner mønstre i store mengder data. Disse mønstrene påvirkes av menneskelige fordommer, ettersom KI-systemer vil påvirkes av hvilke data som tas i bruk, og hvilke resultater som ønskes^{(6)Heather Broomfield, Mona Naomi Lintvedt, «Snubler Norge inn i en algoritmisk velferdsdystopi?», Tidsskrift for velferdsforskning, 2022, s. 1–15, på s. 5. https://doi-org.ezproxy.uio.no/10.18261/tfv.25.3.2.}.

Eksempelvis kan bruk og utvikling av data-drevne algoritmer innen helsehjelp potensielt forevige og forsterke eksisterende etnisk diskriminering basert på hudfarge^{(7)Jenna Wiens, W. Nicholson Price II, Michael W. Sjoding, «Diagnosing bias in data-driven algorithms for healthcare», Naturemedicine, 2020 s. 25–26. https://doi.org/10.1038/s41591-019-0726-6.}. I en analyse gjort av Obermeyer et al. i USA, ble det avdekket at kunstig intelligens favoriserte hvite pasienter i vurderingen av hvilke pasienter som trengte potensielt fordelsaktive omsorgsprogrammer^{(8)Jenna Wiens, W. Nicholson Price II, Michael W. Sjoding, «Diagnosing bias in data-driven algorithms for healthcare», Naturemedicine, 2020 s. 26. https://doi.org/10.1038/s41591-019-0726-6.} . Dette til tross for at pasientene med ulik hudfarge hadde samme omfang av kroniske lidelser. Et slikt problem kan muligens knyttes til hvilke premisser («labels») og bilder man mater en algoritme med^{(9)Jenna Wiens, W. Nicholson Price II, Michael W. Sjoding, «Diagnosing bias in data-driven algorithms for healthcare», Naturemedicine, 2020 s. 25–26. https://doi.org/10.1038/s41591-019-0726-6.} .

Et annet eksempel er hvordan utviklingen av KI-systemer innen helse potensielt kan forsterke en allerede eksisterende forskjell mellom helsehjelpen gitt til ulike kjønn. I tilfeller med lever-sykdommer rapporterer Vatsalya et al. om at kvinner oftere enn menn blir feildiagnostisert som friske av kunstig intelligens-systemer^{(10)Isabel Straw og Honghan Wu, «Investigating for bias in healthcare algorithms: a sex-stratified analysis of supervised machine learning models in liver disease prediction», BMJ Health & Care Informatics, 2022 s. 1–8, på s. 1. doi: 10.1136/bmjhci-2021-100457.} . I praksis vil dette si at det er mange kvinner med lever-sykdom ikke får forsvarlig helsehjelp. Algoritmen som i stor utstrekning brukes for å oppdage og forutse lever-sykdom heter ILPD («The Indian Liver Patient Dataset»), og er klasssifisert som en av de mest effektive modellene på markedet^{(11)Isabel Straw og Honghan Wu, «Investigating for bias in healthcare algorithms: a sex-stratified analysis of supervised machine learning models in liver disease prediction», BMJ Health & Care Informatics, 2022 s. 1–8, på s. 1. doi: 10.1136/bmjhci-2021-100457.} . Samtidig er dette en av modellene som i stor grad feildiagnostiserer kvinner. Dette problemet strekker seg til mange andre helseområder hvor kunnskapen om sykdom ikke tar utgangspunkt i de fysiologiske ulikhetene mellom kjønn^{(12)Isabel Straw og Honghan Wu, «Investigating for bias in healthcare algorithms: a sex-stratified analysis of supervised machine learning models in liver disease prediction», BMJ Health & Care Informatics, 2022 s. 1–8, på s. 7. doi: 10.1136/bmjhci-2021-100457.} . I et likhetsperspektiv er dette svært problematisk, og kan føre til at pasienter med samme sykdom, får ulik helsehjelp.

Burde sensitive opplysninger brukes i utviklingen av KI-systemer i helsehjelp?

Et viktig poeng i sammenheng med likebehandling av pasienter, er at en algoritmisk forskjellsbehandling gjenspeiler en forskjellsbehandling som allerede finnes i helsevesenet. Et reflektert forhold til data og fordommer i utviklingen av kunstig intelligens, har dermed også potensialet til å fremme likebehandling av pasienter og hindre diskriminering^{(13)Jon Kleinberg, Himabindu Lakkaraju, Jure Leskovec, Jens Ludwig og Sendhil Mullainathan, «Human Decisions and Machine Predictions», The Quarterly Journal of Economics, 2018 s. 237–293, på s. 293. https://doi.org/10.1093/qje/qjx032.}. Likhetsnormer som skranke for utviklingen av kunstig intelligens vil kunne føre til at helsetilbudet utvikles på en måte som gir den enkelte pasient et forsvarlig tilbud om helsehjelp, samt en forsvarlig behandling av sine personopplysninger^{(14)Anne Kjersti Befring mfl., Kunstig intelligens og big data i helsesektoren – rettslige perspektiver, 1. utgave, Gyldendal 2020, s. 104.} .

Et reflektert forhold til data og fordommer i utviklingen av kunstig intelligens, har […] potensialet til å fremme likebehandling av pasienter og hindre diskriminering.

Når dette er sagt, kan det oppstå en del motstridende argumenter i sammenheng med likhetsnormer som skranke for utviklingen av KI-systemer innen helse. En likhetsnorm kan på den ene siden tale for at sensitive opplysninger knyttet til etnisitet eller kjønn ikke burde brukes i utviklingen av KI-systemer. På den andre siden kan normen tale for at nettopp slike opplysninger burde brukes i utviklingen av KI-systemer, for å kunne sikre et forsvarlig helsetilbud med økt kunnskap om sykdomssituasjonen til marginaliserte grupper.

Videre kan prinsippet om likebehandling av pasienter føre til et økt fokus på fordelingsmekanismer og flere krav til hvordan helseopplysninger skal behandles i utviklingen av KI-systemer. På den andre siden kan dette imidlertid komme i strid med effektivitetshensyn, og potensielt gjøre det vanskeligere å ta i bruk helseopplysninger for å oppnå en effektiv utvikling.

Konklusjon

For å konkludere, er det ikke alltid like lett å forutse konsekvensene av utviklingen av KI-systemer innen helse, noe som kan gjøre det utfordrende å sikre effektiv og fortløpende likebehandling av pasienter. Denne artikkelen har vist hvordan likhetsnormer kan brukes som en skranke for utviklingen av KI i helsehjelp. Den har fremhevet sentrale mostridende argumenter rundt bruk av sensitive opplysninger i utviklingen av KI-systemer, og er ment som et utgangspunkt for rettslig diskusjon i tiden som kommer.